Общие сведения по проекту

Краткое описание: в стартапе по продаже продуктов питания имеется мобильное приложение. Дизайнеры захотели поменять шрифты во всём приложении, а менеджеры испугались, что пользователям будет непривычно. Договорились принять решение по результатам A/A/B-теста. Пользователей разбили на 3 группы: 2 контрольные со старыми шрифтами и одну экспериментальную — с новыми. Выясните, какой шрифт лучше.

Цель:

Описание данных:

План работы:

  1. Загрузить и изучить данные
  2. Подготовить данные:
  1. Изучить и проверить данные:
  1. Изучить воронку событий:
  1. Изучить результаты эксперимента:

Предобработка данных

В датафрейме 244126 строк. Пропусков нет, но нужно привести значения к змеиному регистру и привести данные к нужному типу.

Пересекающиеся пользователи отсутствуют.

Убрали дубликаты

Изучение и проверка данных

Всего в логе 244 126 событий.

Описание данных:

Группы пользователей распределены равномерно.

Всего 7551 пользователь.

В данных присутствуют аномальные значения, поэтому их нужно будет отфильтровать.

Предлагаю принять значения заказов на пользователя, которые превышают 270, за аномальные значения, так как такие пользователи составляют не более 1-ого процента.

По графику видно, что данные для анализа начали активно сообираться с 01.08, а до этого релевантные данные отсутствуют (возможно, техническая ошибка или неправильное проведение теста), поэтому для проведения исследования нам необходимо анализировать только те данные, кооторые собирались в период с 01.08 по 07.08

Проверим изменилось ли количество пользователей по новым данным.

После удаления дубликатов, выбросов и неактуального периода распределение по пользователям осталось равномерным и из выборки удалено 56 пользоветелй (0.7%) и 28 662 события (11.8%).

Изучение воронки

Видно, что примерно половина событий приходится на главный экран (119 тысяч и 48.8% от общего количества событий), в то время как на экран с продуктами, который занимает 2ое место (46 тысяч событий и 19.2% от общего количества событий), переходят более чем в два раза меньше пользователей.

Пользователи начинают с главного экрана, затем попадают на экран с товарами, далее на экран с корзиной, а потом на экран с успешной оплатой. Экран с обучением, судя по всему, не является обязательным, поэтому на него попадает меньше всего пользователей.

Анализ эксперимента

Группы распределены равномерно. Группа 246 и 247 - это контрольные группы, а группа 248 - экспериментальная. Проверим насколько правильно распределены показатели между контрольными группами.

A/A тест

Нулевая гипотеза - между группами 246 и 247 нету статистической разницы. Альтернативная гипотеза - между группами 246 и 247 есть статистическая разница.

Ни на одном из шагов в группах нету статистической разницы, поэтому разделение на контрольные группы работает корректно.

A/B тест

Сравнивая группы А/А c группой B по отдельности и в совокупности мы не можем увидеть статистическое различие, поэтому новые шрифты никак не повлияли на конверсию пользователей (ни в худшую, ни в лучшую сторону).

Вывод

Распределение на группы было проведено корректно и между ними нету пересечений и пользователи распределены равномерно.

При изучении данных мы выяснили, что в них наблюдались аномальные значения (слишком большие значения событий в расчете на одного пользователя) и отсутствие данных за первую неделю теста. Вероятно, это было обусловлено ошибками при проведении теста.

Наибольшие проблемы с конверсией происходят при переходе пользователей с основного экрана на экран с покупками и это не зависит от A/B теста, так как тест не показал статистической разницы между долями пользователей, которые совершаю эти переходы.

Внедрение нового шрифта не оказывает никакого влияния на конверсию пользователей и их воронку, поэтому нельзя говорить о том, что новый шрифт меняет что-то в худшую или лучшую стороону.